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(54) Title: METHOD FOR INITIATING OCCUPANT- ASSISTED MEASURES INSIDE A VEHICLE 

^3 (54) Bezeichnung: VERFAHREN ZUM AUSLOSEN INS ASSENUNTERSTUTZTER MASSNAHMEN IN EINEM FAHRZEUG 

(57) Abstract: The invention relates to a method for initiating occupant-assisted measures inside a vehicle, particularly a motor 
OS vehicle, during which cerebral current signals of at least one vehicle occupant, particularly of the driver, are metrologically detected. 
£2 Tne intention of the vehicle occupant is estimated or determined by real-time processing by using the cerebral current signals. Mea- 
52 sures for transferring the current state of the vehicle into a state of the vehicle matched to the intention of the vehicle occupant are 

initiated in advance based on the intention of the vehicle occupant. 

O (57) Zusammenfassung: Bei dem Verfahren zum Auslosen insassenunterstutzer MaBnahmen in einem Fahrzeug, insbesondere 
^ Kraftfahrzeug, werden Hirnstrom-Signale mindestens eines Fahrzeuginsassen, insbesondere des Fahrers, messtechnisch erfasst. An- 
Q hand der Hirnstrom-Signale wird die Intention des fahrzeuginsassen durch Echtzeitverabeitung abgeschatzt bzw. ermittelt. Basierend 
^ auf der Intention des Fahrzeuginsassen werden MaBnahmen zum Uberfuhren des augenblicklichen Zustandes des Fahrzeuges in ei- 
^ nem der Intention des fahrzeuginsassen angepassten Zustand des Fahrzeugs im voraus ausgelost. 
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Verfahren zum Auslos en insassenunterstutzter MaBnahmen 

in einem Fahrzeua 

Die Erfindung betrifft ein Verfahren zum Auslosen insassenunterstutzter MaB- 
nahmen in einem Fahrzeug. 

Aus DE 198 01 009 CI ist ein Verfahren bekannt, bei dem eine Not- Oder 
5 Stresssituation des Fahrers eines Fahrzeuges erkannt und eine einen Brems- 
vorgang einleitende bzw. durchfuhrende Einrichtung unterstutzend betatigt 
wird. Die Not- bzw. Stresssituation des Fahrers wird dabei anhand von Sen- 
soren detektiert, die eine Anderung des Blutdrucks und/oder eine Anderung 
des Pulses und/oder eine Anderung der Pupille und/oder eine Anderung des 
10 Gesichtsausdrucks und/oder eine Anderung des Lidreflexes und/oder . eine 
Muskelkontraktion, vorzugsweise der Hand, und/oder eine Anderung des 
Hautwiderstands und/oder eine Anderung der SchweiBsekretion erfassen. 

Die Zeit bis zur Entstehung einer der zuvor genannten Korperreaktionen auf 
15 eine vom Fahrer empfundene Not- bzw. Stresssituation hin fuhrt dabei zu 
einer verzogerten unterstiitzenden Einleitung bzw. Unterstutzung des Brems- 
vorganges, was nachteilig sein kann. 

Aus DE 197 02 748 Al ist es ferner bekannt, dass der Zustand des Fuhrers 
20 eines Fahrzeuges, z. B. eines Zuges, durch z. B. die Erfassung der Hirnstrome 
des Fuhrers uberwacht wird. 

Eine Aufgabe der Erfindung ist es, ein Verfahren zum Auslosen insassenunter- 
stiitzender MaBnahmen in einem Fahrzeug anzugeben, bei dem die Zeit zwi- 
25 schen der Bildung der Intention des z. B. Fahrers des Fahrzeuges und der ein- 
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zuleitenden MaBnahme verkurzt und diese damit quasi ohne Zeitverzogerung 
eingeleitet werden kann. 

Zur Losung dieser Aufgabe wird mit der Erfindung ein Verfahren zum Auslosen 
insassenunterstiitzter MaBnahmen in einem Fahrzeug vorgeschlagen, bei dem 

Hirnstrom-Signale mindestens eines Fahrzeuginsassen, insbesondere des 

Fahrers, messtechnisch erfasst werden, 

anhand der Hirnstrom-Signale die Intention des Fahrzeuginsassen durch 
Echtzeityerarbeitung abgeschatzt bzw. ermittelt wird und 
basierend auf der Intention des Fahrzeuginsassen MaBnahmen zum Uber- 
fuhren des augenblicklichen Zustandes des Fahrzeuges in einen der 
Intention des Fahrzeuginsassen angepassten Zustand des Fahrzeugs im 
voraus ausgelost werden. 

Vorteilhafte Weiterbildungen der Erfindung sind in den Unteranspruchen ange- 
geben. 

Nach der Erfindung werden die handlungsspezifischen Intentionen der 
Insassen bzw. des Fahrers anhand von deren/dessen Hirnstromen erkannt. 
Dies erfolgt somit zum fruhestmoglichen Zeitpunkt, womit Zeitverzogerungen, 
die z. B. bis zur Entstehung von Sekundarreaktionen des Korpers gegeben 
sind, vermieden werden. Ferner lassen sich auch Intentionen detektieren, die 
keinerlei Sekundarreaktionen des Korpers hervorrufen. Z. B. kann anhand der 
Hirnstrome erkannt werden, wie der Fahrer das Fahrzeug zu lenken 
beabsichtigt, urn je nach Art und Weise des Lenkmanovers 
Fahrwerksstabilisationssysteme optimal vorzubereiten. 

Mit der Erfindung wird also ein Verfahren zum Einsatz in Fahrzeugen zur Be- 
reitstellung einer verbesserten Fahrer-Fahrzeug-Schnittstelle durch Auswer- 
tung von Hirnstromen wie z. B. EEG, MEG, NIRS, fMRI und/oder urn EMG vor- 
. geschlagen. 
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Das erfindungsgemaBe Verfahren hat unter anderem die Eigenschaft, dass 
Fahrerverhalten ganz allgemein und Fahrer-Reaktionsfehler und Reaktionsver- 
zogerungen im speziellen detektiert und analysiert werden und damit als neu- 
artiges Multipurposefeature fur eine verbesserte Fahrzeugsicherheit einem 
nachfolgenden Sicherheitssystem als Eingabe zur Verfugung stehen. Das Ver- 
fahren kann in einem Fahrzeug unter anderem eingesetzt werden fur 

1. unfallpraventive SicherheitsmaBnahmen wie 

a) automatische Gurtstraffung 

b) Sitzoptimierung 

c) brems/lenkungsvorbereitende Optimierung der Fahrzeugreagibilitat 

d) Voroptimierung der Fahrzeugdynamik bei zeitkritischen Entscheidun- 
gen 

e) alle pradiktiven Sicherheitsvorkehrungen. 

2. Fahrerbasierte Verifikation maschinell erkannter Gefahrensituationen, wie 
z.B. 

a) Detektion eines kongruenten motorischen Intentionsaufbaus 

b) Situationsmodellierung und Validierung. 

3. Kontinuierliches Vigilanzmonitoring. 

Der Erfindung und ihre Grundlagen sowie GrundzCige werden nachfolgend ein- 
gehender beschrieben. 

Mit der Erfindung wird eine grundsatzlich neue Qualitat von Mensch-Maschine- 
Schnittstellen durch die Kombination hirnphysiologischer Erkenntnisse und 
algorithmischer Weiterentwicklungen in der Informationstechnik ermoglicht, 
indem das Konzept einer direkten Umsetzung von Hirnsignalen in maschinen- 
bezogene Steuerbefehle in einen Brain-Computer Interface (BCI) ais Echtzeit- 
Implementation realisiert wird. Als nicht-invaslve und pri.nzipiell alltagstaugli- 
che Messmethode wird dabei z.B. das Multi-Kanal-EEG mit einer Zeitauflosung 
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im Millisekundenbereich verwendet. Der methodische Ansatz beruht auf ro- 
busten Algorithmen des maschinellen Lernens und der Signalverarbeitung zur 
Extraktion, Identifikation und Klassifikation von EEG-Hirnsignalen, die Intenti- 
onen naturlicher Bewegungen in psychophysiologisch wohldefinierten Interak- 
tionssituationen zwischen Mensch und Umwelt abbilden. Ein weiteres charak- 
teristisches Merkmal des hier verwendeten BBCI liegt in der Ausrichtung auf 
eine fur den Nutzer optimierte Trainingssituation, bei der im Gegensatz zu 
anderen BCI-Verfahren nicht mehrere Trainingssessions des Nutzers erforder- 
lich sind, sondern lediglich eine einzige ca. zwanzigminutige Trainingsphase als 
Ausgangsmaterial fQr den Lernalgorithmus benotigt wird (siehe Blankertz, B., 
Curio, G., Muller, K.-R. (2003), Classifying Single Trial EEG: Towards Brain 
Computer Interfacing, Advances in Neural Information Processing Systems 14, 
eds. T.G. Dietterich, S. Becker and Z. Ghahramani, MIT PRSS: Cambridge, MA, 
157-164; Dornhege, G., Blankertz, B., Curio, G., Muller, K.-R., Combining 
features for BCI, Advances in Neural Information Processing Systems 15, eds. 
S. Becker, S. Thrun and K. Obermayer, MIT Press: Cambridge, MA. (2003)). 

Fur ein BCI liegen international bislang schon wohldefinierte Anwendungsper- 
spektiven im klinischen Einsatz fur gelahmte Patienten vor, insbesondere z.B. 
bei kompletten Querschnittslahmungen. Mit der Erfindung wird erstmals die 
Moglichkeit aufgezeichnet, bei zeitkritischen Echtzeit-Applikationen, wie sie 
typischerweise z.B. bei Fahrer-Fahrzeug-Schnittstellen gegeben sind, neuartige 
Verfahrensansatze zu realisieren: 

1. In der psychophysiologischen Forschung zur Aufklarung und Anwendung 
von Fahrer-Reaktionsfehlern und -Reaktionsverzogerungen konnen nun 
erstmals, sowohl in virtuellen Fahrsimulationen wie auch in realen Fahr- 
situationen, die motorischen Reaktionsintentionen des Fahrers mit hoher 
Zeitauflosung im Millisekundenbereich als ungemittelte Einzelereignisse 
erfasst und auf diese Weise in Abhangigkeit vom aktuell varlierenden 
perzeptuellen Kontext (multimodale Umgebungsinformationen sowie In- 
strumentensignale) analysiert werden. 
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2. Im Einsatz als Fahrerassistenzsystem konnen Konzepte der "Integrierten 
Sicherheit" urn neuartige Komponenten fur eine kontinuierlich ('on-the- 
fly*) fortlaufende Fahrer-Modellierung erweitert werden: 

a) Die als Einzelereignis identifizierbaren EEG-Korrelate von 
Intentionsbildung und spezifischen Bewegungsvorbereitungen konnen 
aufgrund der BBCI-Echtzeitfahigkeit als neuartige EingangsgroBe die- 
nen fur Konzepte der unfallpraventiven Sicherheit, bei Automobilen 
beispielsweise motorische Gurtstraffung, Sitzoptimlerung oder 
Brems-/Lenkungs-vorbereitende Optimierung der Fahrzeugreagibili- 
tat. 

b) Daruber hinaus kann eine schneilstmogliche Fahrer-basierte 
'Verifikation' maschineller (z.B. visueller) Gefahrenerkennung durch 
Detektion eines kongruenten motorischen Intentionsaufbaus des 
Fahrers erfolgen und eine dementsprechend validierte Situationsmo- 
dellierung ermoglichen. 

c) Insbesondere konnen zeitkritische Entscheidungsalternativen, wie 
z.B. eine situativ zwingende Auswahl zwischen Notfallbremsung und 
gerichtetem Ausweichmanover, die rechtlich dem Fahrer vorzubehal- 
ten sind, schon Zehntelsekunden vor der eigentlichen Reaktionsbe- 
wegung des Fahrers prognostiziert werden, indem die entsprechen- 
den motorischen Intentionen aus dem EEG-Signal des Fahrers extra- 
hiert und fur Zwecke einer Voroptimierung der Fahrzeugdynamik 
genutzt werden. 

Als additiver Vorteil dieses EEG-basierte BCI-Ansatzes ist das weitergreifende 
multi-purpose feature zu nennen, dass aus den EEG-Daten neben den hier de- 
finierten neuartigen Applikationen schon fruher etablierte Konzepte zum konti- 
nuierlichen Fahrer-Vigilanzmonitoring nahtlos integriert werden konnen. 



WO 2004/083972 



PCT/EP2004/003012 



- 6 - 
ANSPRUCHE 

1. Verfahren zum Auslosen insassenunterstutzter MaBnahmen in einem 
Fahrzeug, Insbesondere Kraftfahrzeug, bei dem 

- Hirnstrom-Signale mindestens eines Fahrzeuginsassen, insbesondere 
des Fahrers, messtechnisch erfasst werden, 

- anhand der Hirnstrom-Signale die Intention des Fahrzeuginsassen 
durch Echtzeitverarbeitung abgeschatzt bzw. ermittelt wird und 

- basierend auf der Intention des Fahrzeuginsassen MaBnahmen zum 
Uberfuhren des augenblicklichen Zustandes des Fahrzeuges in einen 
der Intention des Fahrzeuginsassen angepassten Zustand des Fahr- 
zeugs im voraus ausgelost werden. 

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die physiologi- 
schen Signale nichtinvasiv ermittelt werden. 

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass es sich 
bei den Hirnstrom-Signalen urn Hirnsignale wie z. B. EEG, MEG, NIRS, 
fMRI und/oder urn EMG handelt. 

4. Verfahren nach einem der Anspruche 1 bis 3, dadurch gekennzeichnet, 
dass die Echtzeitverarbeitung der Messsignale durch Methoden der Sig- 
nalverarbeitung und/oder des maschinellen Lernens erfolgt, die es er- 
moglichen, die Messsignale als Einzelsignale und ohne langwieriges Trai- 
ning des Fahrzeuginsassen auszuwerten. 

5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Methoden 
der Signalverarbeitung zur adaptiven Merkmalsextraktion aus den Mess- 
signalen alternativ oder in einer beliebigen Kombination mindestens eines 
der nachfolgenden Merkmale aufweist: 

a) Filterung (raumlich und im Frequenzbereich) und Downsampling, 

b) Zerlegung bzw. Projektion, 
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c) Bestimmung von raumlichen, zeitlichen oder raum-zeitlichen 
KomplexitatsmaBen, 

d) Bestimmung von KoharenzmaBen (bezogen auf Phase oder Band- 
Energie) zwischen Eingangssignalen. 

6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Filterung 
alternativ oder in einer beliebigen Kombination mindestens eines der 
nachfolgenden Merkmale aufweist: 

a) Wavelet und Fourierfilter (short-time), 

b) FIR und IIR Filter, 

c) Laplace und Common Avarage Reference Filter, 

d) Glattungsverfahren. 

7. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Zerlegung 
bzw. Projektion alternativ oder in einer beliebigen Kombination min- 
destens eines der nachfolgenden Merkmale aufweist: 

a) Independent Component Analyse und Hauptkomponentenanalyse, 

b) Projection Pursuit Technik, 

c) Sparse Decomposition Techniken, 

d) Common Spatial Patterns Techniken, 

e) Common Substace Decomposition Techniken, 

f) (Bayessche) sub-space regularization Techniken. 

8. Verfahren nach Anspruch 4 oder einem der vorhergehenden Anspruche, 
soweit auf Anspruch 4 ruckbezogen, dadurch gekennzeichnet, dass die 
Methode des maschinellen Lernens eine Klassifikation und/oder Regres- 
sion umfasst, und zwar unter Einsatz von 

a) kernbasierten linearen und nichtlinearen Lernmaschinen (z.B. Support 
Vector Maschinen, Kern Fisher, Linear Programming Machines), 

b) Diskriminanzanalysen, 

c) neuronalen Netzen, 

d) Entscheidungsbaumen, 
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e) allgemein alien linearen und nicht linearen Klassifikationsmethoden 
auf die durch Signalvorverarbeitung gewonnenen Merkmale. 

9. Verfahren nach einem der Anspruche 1 bis 8, dadurch gekennzeichnet, 
dass es sich bei den auslosenden MaBnahmen urn unfallpraventive 
SicherheitsmaBnahmen wie beispielsweise 

a) automatische Gurtstraffung, 

b) Sitzoptimierung, 

c) brems/lenkungsvorbereitende Optimierung der FahrzeugreagibilitSt, 

d) Stabilitatsvorberechnungen, 

e) Voroptimierung der Fahrzeugdynamik bei zeitkritischen Entscheidun- 
gen, 

f) alle pradiktiven Sicherheitsvorkehrungen 
handelt. 

10. Verfahren nach einem der Anspruche 1 bis 9, dadurch gekennzeichnet, 
dass die anhand der Hrinstrom-Signale ermittelte bzw. abgeschatzte 
Intention der Verifikation maschinell erkannter Gefahrensituationen dient, 
und zwar insbesondere durch Detektion eines kongruenten motorischen 
Intentionsaufbaus und Situationsmodellierung und Validierung. 

11. Verfahren nach einem der Anspruche 1 bis 10, gekennzeichnet durch den 
Einsatz und die Integration in ein kontinuierliches Vigilanzmonitoring. 

12. Verfahren nach einem der Anspruche 1 bis 11, dadurch gekennzeichnet, 
dass die auszulosenden MaBnahmen anhand einer Mittlung der Intentio- 
nen mehrerer Fahrzeuginsassen ergriffen werden. 
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